Перейти к основному содержимому

Настройка

Compressa LLM распространяется в виде Docker-контейнеров, которые доступны в Github package storage и могут быть развернуты одной командой.

Требования​

1. Linux-сервер с поддерживаемым Nvidia GPU​

Текущая версия протестирована на следующих моделях:

  • Nvidia A100
  • Nvidia V100
  • Nvidia T4
  • Nvidia 4090
  • Nvidia 4080
  • Nvidia 4070 / 4070Ti
  • Nvidia 3080 / 3080Ti
  • Nvidia 3070 / 3070Ti
  • Nvidia 3060 / 3060Ti
  • Nvidia 2080Ti

Сервер должен иметь объем оперативной памяти не менее объема памяти GPU (рекомендуется 1.2 от объема памяти GPU).

2. Установленные драйверы CUDA​

Необходимо установить последние совместимые драйвера.

примечание

Версию драйвера CUDA по умолчанию можно установить с помощью следующих команд:

sudo apt update
sudo apt install software-properties-common -y
sudo apt install ubuntu-drivers-common -y
sudo ubuntu-drivers autoinstall
sudo apt install nvidia-cuda-toolkit

3. Docker​

Инструкция по установке для Ubuntu:
https://docs.docker.com/engine/install/ubuntu/

Необходимо установить версию, которая поддерживает Docker Compose V2.

4. Nvidia Container Toolkit​

Инструкция по установке для Linux:
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

Развертывание​

На первом этапе интеграции команда Compressa предоставляет вам токен доступа.

1. Далее процесс простой:​

Установите переменную окружения с токеном:

export COMPRESSA_TOKEN=<TOKEN>

2. Аутентификация в Docker с вашим токеном:​

echo $COMPRESSA_TOKEN | docker login -u compressa --password-stdin

3. Загрузите файл docker-compose.yaml:​

wget https://raw.githubusercontent.com/compressa-ai/compressa-deploy/main/docker-compose.yaml

4. Загрузите конфигурацию nginx:​

wget https://raw.githubusercontent.com/compressa-ai/compressa-deploy/main/nginx.conf

5. Скачайте последнюю версию Compressa:​

docker compose pull

6. Установите переменные окружения и запустите сервис:​

  • DOCKER_GPU_IDS - список идентификаторов GPU, которые будут доступны для Compressa

  • RESOURCES_PATH - путь к директории для хранения моделей, например ./data.
    Установите права на чтение и запись для этой директории, используя chmod -R 777 ./data

    примечание

    Если вы развертываете Compressa в частной сети без доступа к интернету, используйте инструкцию для загрузки ресурсов.

    Развертывание:

    export DOCKER_GPU_IDS=0
    export RESOURCES_PATH=./data
    docker compose up

Готово! Сервис доступен на порту 8080.